Formalizando análisis numérico: pipeline de agentes y auditoría de calidad
Descubre cómo evaluamos la calidad de formalizaciones numéricas generadas por agentes IA más allá de la compilación. Auditoría sistemática con LLM.
#llm como juez
De juicios inciertos a rankings calibrados: estimación Elo conforme para LLM
Descubre cómo estimar rankings calibrados de LLM sin costosas anotaciones humanas usando Elo conforme y predicción conforme. Mide la incertidumbre real.
C2-Faith: Evaluando la fidelidad causal y de cobertura en LLMs
Descubre C2-Faith, el benchmark que expone las limitaciones de los LLMs al evaluar la fidelidad causal y de cobertura en razonamiento. ¿Son fiables?
Inferencia válida con datos sintéticos mediante intercambiabilidad de tareas
¿Cómo usar datos sintéticos sin sesgos? Descubre la intercambiabilidad de tareas, un nuevo método para inferencias válidas en investigación científica con IA.
El Mentiroso Confiado: Diagnóstico con Log-Probabilidades y LLM en Debate Multi-Agente
¿Los modelos de IA mienten? Este estudio usa log-probabilidades y juez LLM para evaluar razonamiento en debates multi-agente y detectar fallos críticos.
Puntos ciegos del LLM como juez en agentes transaccionales multi-turno
Los LLM como jueces fallan: solo detectan el 22% de los defectos. Conoce los puntos ciegos y cómo afectan a agentes transaccionales multi-turno.
Estabilidad vs. Manipulabilidad: Evaluando Robustez en Jueces LLM
Los jueces LLM son estables en reevaluaciones neutrales, pero vulnerables a retos dirigidos. El ERS mide su robustez interaccional. Conoce sus implicaciones.
Tamaño del conjunto de calibración para LLM como juez: ¿50 o 200?
¿50 o 200 trazas? Aprende a determinar el tamaño de muestra para validar un LLM como juez según el balance de clases. La clave está en el kappa de Cohen.
Reproducir, analizar y detectar reward hacking en RL con rúbricas
Aprende cómo CHERRL reproduce y detecta reward hacking en RL con rúbricas, identificando sesgos del juez LLM para entrenar IA más segura.
Cómputo de inferencia calibrado por distribución para LLM como juez
Descubre cómo el cómputo de inferencia calibrado por distribución mejora la fiabilidad de LLM como juez, reduciendo errores y superando métodos tradicionales de votación.
Más allá del matching: Evaluación semántica de extracción de tablas PDF
Descubre cómo la evaluación semántica con LLM supera a TEDS y GriTS en precisión, con correlación humana de 0.93. Benchmark de 21 parsers PDF.
GLIDE: Inferencia basada en predicciones para evaluar sistemas GenAI
GLIDE: biblioteca Python que combina anotaciones humanas y predicciones de LLM para evaluar sistemas GenAI y agentes sin sesgo, ahorrando costos de anotación.
Diagnóstico de fiabilidad de LLM como juez con IRT
Descubre cómo diagnosticar la fiabilidad de los LLM como jueces usando la teoría de respuesta al ítem (IRT) para evaluar consistencia y alineación con expertos humanos.